//package com.fr.lvmama;
//
//import java.io.BufferedReader;
//import java.io.FileReader;
//import java.io.StringReader;
//import java.util.ArrayList;
//import java.util.HashMap;
//import java.util.HashSet;
//import java.util.List;
//import java.util.Map;
//import java.util.Map.Entry;
//import java.util.Set;
//
//import org.wltea.analyzer.core.IKSegmenter;
//import org.wltea.analyzer.core.Lexeme;
//
///**
// * @author 付荣
// * @version 创建时间：2019年2月25日 上午10:53:54
// */
//public class TestA {
//	public static void main(String[] args) throws Exception {
//		String path = "E:\\productName.txt";
//		FileReader fr = new FileReader(path);
//		BufferedReader br = new BufferedReader(fr);
//		String line = br.readLine();
//		Map<String, WordCount> wordMap = new HashMap<>();
//		Map<String, Map<String, WordCount>> productMap = new HashMap<>();
//		while (line != null){
//			Set<String> words = new HashSet<>();
//			String [] ss = line.split("\t");
//			Map<String, WordCount> pMap = productMap.get(ss[0]);
//			if(pMap == null){
//				pMap = new HashMap<>();
//				productMap.put(ss[0], pMap);
//			}
//			StringReader input = new StringReader(ss[1]);
//			IKSegmenter seg = new IKSegmenter(input, false);
//			Lexeme lexeme = seg.next();
//			while(lexeme != null){
//				String word = lexeme.getLexemeText();
//				WordCount wc = wordMap.get(word);
//				//词 总文本
//				if (wc == null){
//					wc = new WordCount();
//					wc.word = word;
//					wc.count = 1;
//					wc.documentCount = 1;
//					wordMap.put(word, wc);
//					words.add(word);
//				}else{
//					wc.count = wc.count + 1;
//					if (!words.contains(word)){
//						wc.documentCount = wc.documentCount + 1;
//						words.add(word);
//					}
//				}
//				// ID - 词
//				wc  = pMap.get(word);
//				if (wc == null){
//					wc = new WordCount();
//					wc.word = word;
//					wc.count = 1;
//					pMap.put(word, wc);
//				}else{
//					wc.count = wc.count + 1;
//				}
//				lexeme = seg.next();
//			}
//			line = br.readLine();
//		}
//		br.close();
//		fr.close();
//		System.out.println(productMap);
//		System.out.println(wordMap);
//		int totalDocument = productMap.size();
//		final double log = Math.log10(2);
//		List<Entry<String, Map<String, WordCount>>> list = new ArrayList<>();
//		list.addAll(productMap.entrySet());
//		int size = list.size();
//		for(int i = 0; i < size; i ++){
//			for(int j = i+1; j < size; j ++){
//				
//			}
//		}
//	}
//	//tf-idf
//	// 该文本中该词出现次数/ 该文档的总词数  * log2(总文本数/ (该词出现的文本数 + 1))
//	// log2(x) = log10(x) / log10(2)
//	
//	static class WordCount{
//		public String word;
//		public int count;//总次数
//		public int documentCount;//文档数
//		@Override
//		public String toString() {
//			return "WordCount [word=" + word + ", count=" + count + ", documentCount=" + documentCount + "]";
//		}
//		
//	}
//
//}
